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自动 化 批量 部 署 管 理 的 实践 


摘 要 : 努力 提高 物理 服务 器 环境 下 的 自动 化 部 署 效率 和 可 控 管 理 能 力 ， 一 直 是 运 维 开发 人 员 不 断 追 求 的 目标 。 随 着 新 华 社 
“媒体 融合 发 展 项 目 ”的 不 断 推 进 ， 在 统一 运 维 体系 模式 下 ， 基 础 平台 环境 的 建设 在 实际 工作 中 面临 着 为 上 层 业 务 应 用 系统 


提供 基础 环境 支撑 的 任务 ， 承 担 了 近 千 台 物 理 服务 器 节点 的 部 署 和 运 维 工作 ， 和 急需 


时 响应 业务 系统 部 署 需求 的 难题 。 
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1. 物理 服务 器 部 署 的 痛 点 
与 传统 “竖井 式 业务 ”小 规模 运 维 相 比 ， 统 一 运 维 体系 
下 规模 化 的 操作 系统 部 署 存 在 以 下 几 方 面 的 挑战 
(1 ) 并 存 多 个 系统 版 本 ， 数 据 和 基础 类 软件 要 求 的 系 
统 版 本 较 低 ， 适 合 容器 化 的 应 用 软件 要 求 的 系统 版 本 较 高 。 
(2 ) 交付 界面 上 移 ， 更 加 精细 化 。 任 务 不 再 是 简单 安 
装 操 作 系 统 , 而 是 在 统一 设计 要 求 下 , 完成 磁盘 分 区 和 挂 载 、 
软件 包 安装 、 网 络 设置 、NTP 时 间 校 对 、 用 户 设置 及 个 性 化 
配置 等 。 
(3 ) 物理 服务 器 部 署 节点 需求 数量 通常 在 上 百 台 ， 网 
络 环境 复杂 ， 网 络 安全 域 不 同 ， 服 务 需 具有 多 块 网 卡 。 
(4) 部 署 过 程 中 ， 要 能 人 够 监控 查看 每 一 台 服 务 器 的 详 
(5 ) 对 网 络 连 通 、 用 户 账户 和 软件 包 等 进行 安装 结果 
验证 。 
面 对 以 上 挑战 ， 如 果 靠 人 力 部 署 ， 势 必 效 率 低下 ， 也 极 
易 因 为 人 为 因素 出 现 配 置 差错 。 
2. 自动 化 部 署 方案 
针对 操作 系统 规模 化 部 署 运 维 的 弱点 ， 我 们 设计 了 适用 
于 新 华 社 实 际 环境 的 操作 系统 自动 化 部 署 和 管理 方案 : 
(1) 搭建 基于 PXE 的 网 络 自动 安装 环境 ， 自 定义 
kickstart( 简称 ks ) 自动 安装 配置 文件 和 shell 脚本 。 
(2 ) 开发 配置 管理 服务 , 以 服务 器 设备 序列 号 为 索引 ， 
将 ks 中 的 配置 数据 抽象 为 参数 进行 封装 管理 ， 用 于 服务 器 
配置 管理 、 配 置 API 查询 等 。 
(3 ) 开 发 监控 服务 , 同样 以 服务 器 设备 序列 号 为 索引 ， 
j 于 监控 数据 上 传 、 进 度 监 控 、 安 装 验证 等 。 
技术 架构 如 图 1 所 示 。 核心 为 配置 管理 服务 和 监控 服务 ， 
由 服务 器 工程 师 规划 编制 《服务 器 基础 规划 表 》 并 上 传 至 配 
置 管理 服务 器 ， 目 标 主 机 在 自动 安装 时 从 配置 管理 服务 器 根 
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据 设 备 序列 号 加 载 属于 自己 的 配置 ， 全 程 进度 上 传 监控 服务 
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1 系统 架构 


以 下 为 各 系统 组 件 的 功能 描述 。 

DHCP 服务 器 ， 为 需要 安装 操作 系统 的 服务 器 提供 
DHCP/BOOTP 服务 。 承 担 该 任务 的 为 管理 网 的 三 层 交 换 机 ， 
安装 时 在 交换 机 上 的 对 应 VlanIf 上 设置 DHCP 服务 即 可 。 相 
较 于 在 服务 器 上 配置 DHCP 服务 的 传统 方案 ， 在 交换 机 上 配 
置 更 为 稳定 ， 也 适用 于 跨 网 段 的 批量 服务 器 安装 。 

TFTP 服务 器 , 对 应 DHCP 服务 器 上 的 next-server 配置 ， 
提供 最 小 启动 镜像 的 下 载 服务 , 承担 该 任务 的 为 中 控 服 务 器 。 
依赖 操作 系统 的 xinetd 服务 对 tftp 服务 进行 管理 。 将 CentOS 
6 和 CentOS 7 等 不 同 操作 系统 版 本 的 最 小 启动 镜像 文件 分 开 
存放 ， 实 现 不 同 操作 系统 的 同时 自动 化 安装 。 
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HTTP Web 服务 器 ， 对 应 TFTP 服务 器 上 的 ks 配置 文件 
URL， 提 供 ks 配置 文件 以 及 操作 系统 rpm 软件 安装 包 的 资 
源 下 载 服务 ， 承 担 该 任务 的 为 中 控 服 务 器 。 将 CentOS 6 和 
Cent0S 7 等 不 同 操作 系统 版 本 的 ks 文件 和 rpm 包 分 开 存 放 。 
相 较 于 传统 方案 ,根据 配置 自动 化 设计 ， 我们 在 这 里 增加 了 
静态 路 由 、 人 磁盘 分 区 等 配置 文件 的 下 载 。 

配置 管理 服务 器 , 为 安装 人 员 提 供 服务 器 配置 管理 操作 ， 
提供 Excel 格式 的 配置 文件 上 传 和 浏览 功能 ， 该 部 分 为 单独 
开发 实现 ， 承 担 该 任务 的 为 中 控 服务 器 。 

监控 服务 器 ， 为 安装 人 员 提 供 服 务 器 安装 部 署 实时 监控 
服务 , 该 部 分 为 单独 开发 实现 , 承担 该 任务 的 为 中 控 服 务 器 。 

CMDB 服务 器 ， 服 务 器 配置 的 最 终 状 态 记 录 数 据 库 。 

3. 自动 化 原理 与 执行 流程 

操作 系统 安装 自动 化 的 原理 是 基于 PXE 和 kickstart 的 
网 络 自动 安装 。 在 此 基础 上 ， 我 们 以 服务 器 设备 序列 号 为 索 
引 ， 将 个 性 化 配置 的 数据 抽取 出 来 ， 封 装 为 配置 管理 服务 ， 
结合 ks 配置 文件 的 pre 段 和 post 段 的 自 定 义 Shell 脚本 ， 实 
现 个 性 化 配置 的 自动 化 部 署 。 

目标 主机 的 安装 执行 分 为 两 个 阶段 。 

第 一 阶段 为 目标 主机 的 最 小 安装 启动 镜像 加 载 ， 如 图 2 
所 示 。 目 标 主机 通过 支持 PXE 功能 的 网 卡 从 DHCP 服务 器 
获取 网 卡 卫 、 网 关 、TFKTP 服务 器 地 址 和 最 小 安装 启动 镜像 
路 径 ， 然 后 从 TFTP 服务 器 下 载 启动 镜像 和 安装 启动 配置 广 
件 ， 从 配置 文件 中 获取 ks 文件 URL 路 径 。pxelinux.0 为 启动 
文件 ( bootfile )， pxelinux.cfg/default 文件 为 安装 启动 配置 文件 ， 
内 含 ks 文件 URL; vmlinuz 为 启动 内 核 ， initrd.img 为 挂 载 文 
件 系统 。 

第 二 阶段 为 KickStart 方式 自动 安装 阶段 ,如 图 3 所 示 。 
KickStart 安装 方式 为 我 们 提供 了 安装 前 ( %pre ) 和 安装 后 
( 9opost ) 2 个 自 定义 执行 阶段 ， 允 许 我 们 利用 这 2 个 阶段 
编写 Shell 脚本 实现 配置 自 定义 。 我 们 将 相同 部 分 直接 写 在 
ks 文件 中 ， 包 括 软 件 安装 包 列 表 、root 及 公共 账号 配置 、 
SELinux 和 防火 墙 配置 、NTP 配置 、DNS 配置 等 。 对 于 个 性 
化 配置 ， 编 写 变量 shell 脚本 调用 配置 管理 服务 ， 利 用 pre 阶 
段 实 现 磁盘 分 区 和 主机 名 的 配置 导入 ，Ppost 阶段 实现 耳 、 静 
态 路 由 及 其 他 系统 初始 化 配置 。 两 个 阶段 的 所 有 配置 操作 均 
上 传 监控 服务 器 。 


从 DHCP 服 务 器 获取 IP 
及 BOOTP 信 息 ， 设 置 | 


音 


tHp 下 载 让 
centos7/pxelinux.0 
从 TFTP 服 务 器 获取 启动 镜像 及 centos7/pxelinux.cfg/default 
ks 文件 路 径 ， 启 动 镜像 
centos7/boot.msg | 
centos7/vmlinuz 


centos7/initrd.img 


2 详细 执行 流程 第 一 阶段 


机 下 载 ks.cfg 文 件 
催 取 设备 序列 号 ， 根 据 序列 号 向 配置 服务 器 获取 配置 信息 
下 载 硬件 RAID 阵 列 卡 操作 软件 
下 载 磁盘 分 区 配置 信息 
上 报 执行 进度 和 执行 结果 信息 
下 载 系统 软件 安装 包 
执行 磁盘 系统 分 区 及 格式 化 
执行 系统 软件 包 安装 
执行 系统 环境 基本 初始 化 
获取 设备 序列 号 ， 根 据 序列 号 向 配置 服务 器 获取 配置 信息 
获取 IP 配 置信 息 并 执行 
上 报 执行 进度 和 执行 结果 信息 
获取 静态 路 由 信息 并 执行 
上 报 执行 进度 和 执行 结果 信息 
获取 主机 名 信息 并 执行 
上 报 执行 进度 和 执行 结果 信息 
执行 一 系列 系统 初始 化 操作 
上 报 执行 进度 和 执行 结果 信息 


著 洲 办 内 
| 
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3 ”详细 执行 流程 第 二 阶段 


4. 配置 管理 和 监控 服务 设计 

配置 管理 和 监控 服务 采用 nodejs 语言 编写 ， 提 供 配 置 上 
传 和 浏览 、 配 置 查询 API、 安 装 进 度 监控 等 功能 ， 技 术 架 构 
如 图 4 所 示 。 


[| wEB 前 端 | 配置 上 传 页 面 ”配置 浏览 页 面 ”进度 监控 页 面 ”帮助 页 面 


配置 查询 AP1 监控 更 新 AP1 监控 查询 AP1 
Exce1 转 换 适 配器 配置 导入 监控 和 进度 调度 
| 数据 处 理 层 | 配置 管理 CRUD 安装 管理 CRUD 监控 管理 CRUD 
配置 数据 安装 管理 数据 监控 数据 


4 配置 管理 服务 技术 架构 


配置 管理 服务 具有 以 下 几 个 特点 : 

(1 ) 定位 为 工具 类 ， 采 用 内 存 数据 库 作 为 数据 存储 方 
式 ; 配置 元 数据 包括 : 服务 器 序列 号 、 机 柜 物 理 位 置 、 操 
作 系 统 版 本 、 主 机 名 、 业 务 网 卡 和 带 内 管理 网 卡 卫 (对 应 
于 硬件 网 卡 位 置 ， 含 bonding ) 、 远 程 带 外 管理 卡 IP、RAID 
划分 、 磁 盘 分 区 和 挂 载 点 ， 如 图 5 所 示 。 
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5 配置 列表 及 详情 页 


(2 ) 为 了 配合 服务 器 工程 师 的 工作 习惯 ， 
导入 配置 的 转换 适 配 模 块 ; 
(3 ) 配置 查询 接口 采用 Restful API 格式 。 特 别 是 针对 
网 卡 配 置 查询 进行 了 详细 设计 ,包括 瑟 地 址 、 网 络 掩 码 . 子 网 、 
网 关 、 网 卡 名 称 等 ， 以 应 对 ks 自动 安装 过 程 中 的 卫 地 址 类 
查询 ,减少 shell 脚本 的 文本 解析 工作 。 如 : 
http://lipl:[port]/api/confs/[serialid]/operatelP 


增加 了 Excel 


http:W[ip]:[portlapi/confs/[serialidj/operateIPNetmask 
http:W[ip]:[portl/api/confs/[serialidj/operateIP 
http:W[ip]:[portl/apiconfs/[serialidj/operateIPCateway 
http:W[ip]:[portl/api/confs/[serialidj/operateNic 
4.1 安装 实施 步骤 
操作 系统 安装 自动 化 将 服务 器 工程 师 从 繁重 的 重复 劳动 
中 解放 出 来 ， 只 需 少 量 手工 操作 ， 从 而 使 其 精力 更 多 地 集中 
在 配置 规划 设计 。 
(1) 从 配置 管理 服务 器 下 载 《 服 务 器 基础 规划 表 》 模 
板 ， 借 助 Excel 表格 工具 对 服务 器 配置 进行 规划 设计 。 
(2 ) 将 Excel 文档 上 传 到 配置 管理 服务 器 ， 同 时 将 列 
表 中 的 服务 器 加 入 到 竺 安装 服务 器 列表 。 
(3 ) 在 目标 主机 所 在 管理 网 当前 网 段 的 三 层 交 换 机 的 
对 应 VlanIf 上 设置 DHCP 服务 配置 DHCP 服务 ， 开 始 安装 系 
统 。 


(4) 通过 监控 服务 页 面 浏览 安装 进度 ( 见 图 6) ， 同 
时 可 以 访问 每 台 服 务 器 的 带 外 管理 地 址 ， 通 过 打开 KVM 远 
程 Console 来 查看 系统 安装 情况 ( 见 图 7 ) 。 
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4. 2 实施 中 的 一 些 经 验 

尽 可 能 降低 业务 系统 对 基础 环境 的 个 性 化 要 求 ， 强 制约 
束 系 统 命名 规范 、 用 户 账号 规范 、 操 作 系 统 版 本 等 ， 是 实现 
自动 化 部 署 和 提高 可 控 管 理 能 力 的 先决 条 件 。 为 此 ， 我 们 习 
点 从 以 下 两 个 方面 对 业务 应 用 系统 做 出 限制 。 

(1) 制定 系统 部 署 规范 ， 保 证 系统 部 署 的 一 致 性 。 我 
们 制定 了 《主机 域名 和 内 部 服务 域名 命名 规范 》、《 用 户 账 
户 和 目录 使 用 规范 》、《 操 作 系统 初始 化 规范 》、《 多 网 卡 
IP 使 用 规范 》。 
(2) 强制 操作 系统 基线 版 本 。 综 合 考虑 基础 软件 兼 
容 性 、 操 作 系 统 稳定 性 和 官方 维护 支持 期 限 ， 我 们 选用 了 
CentOS6.8 和 Cent0S7.3 作为 操作 系统 基线 版 本 。 对 于 数据 库 、 
大 数据 等 数据 类 软件 ， 考 虑 到 软件 本 身 的 兼容 性 和 稳定 性 ， 
部 署 到 Cent0S6.8， 对 于 移植 性 较 好 的 Java/J2EFE 等 应 用 ， 适 
合 容 器 化 扩展 的 ， 部 署 到 Cent0S7.3。CentOSs 官方 提供 维护 
支持 的 操作 系统 截至 日 期 见 表 1 。 
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表 1 操作 系统 官方 维护 截至 日 期 
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更 新 2020 年 11 月 30 日 2024 年 1 月 30 日 
( 翻译 自 : https://wiki.centos.org/About/Product ) 
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(5 ) 安装 完成 后 ， 通 过 安装 管理 界面 保存 此 次 安装 过 
程 和 结果 。 
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安装 界面 
5. 总 结 

该 解决 方案 在 传统 的 自动 化 部 署 方案 基础 上 ， 根 据 新 华 
社 媒体 融合 发 展 项 目的 特点 进行 了 优化 完善 ， 提 高 了 服务 需 
规模 化 部 署 的 配置 管理 能 力 , 增强 了 部 署 管 理 的 可 视 化 验证 。 
在 新 华 社 融 发 项 目的 实践 中 ， 该 方案 从 一 定 程度 上 解放 了 服 
务 器 工程 师 的 重复 繁重 劳动 ， 实 现 了 系统 批量 安装 自动 化 ， 
极 大 地 提高 了 系统 部 署 效率 ， 增 强 了 系统 运 维 管理 能 力 ， 解 
决 了 系统 按 需 按期 交付 的 难题 。 嘻 
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